Gamarnik sinh ra ở Zhytomyr trong một gia đình Do Thái với tên gọi Yakov Tzudikovich Gamarnik (tiếng Nga: Я́ков Цу́дикович Гама́рник). Ông theo học tại Viện Psychoneurological St Petersburg và Trường Luật của Đại học Kiev. Năm 1917, ông trở thành thành viên và bí thư của ủy ban Kiev của Đảng Cộng sản Liên Xô. Từ năm 1921 đến năm 1923 Gamarnik là chủ tịch hội đồng thành phố Kiev. Trong những năm sau đó, ông đã trải qua nhiều chức vụ trong Đảng, cả dân sự và quân sự, ví dụ như Bí thư thứ nhất Đảng Cộng sản Belorussia từ tháng 12 năm 1928 đến tháng 10 năm 1929.[1]

Ông là người có công trong việc chuẩn bị kế hoạch phát triển 10 năm cho vùng Viễn Đông của Liên Xô. Ông là Ủy viên Ban Chấp hành Trung ương do Đại hội 17 của Đảng Cộng sản Liên bang (Bolshevik) bầu chọn.

Là một người theo chủ nghĩa lý tưởng, Gamarnik là người ủng hộ nhiệt thành cho nỗ lực đưa Liên Xô trở thành siêu cường quân sự của Nguyên soái Tukhachevsky. Năm 1937, Gamarnik bị buộc tội tham gia vào một âm mưu chống Liên Xô sau Vụ án Trotskyist chống Liên Xô; tuy nhiên, không lâu trước khi xét xử, ông thực sự được chính phủ Liên Xô kêu gọi làm một trong những thẩm phán cho bị cáo. Do lập trường đòi Tukhachevsky vô tội, ông sau đó đã tự sát trước khi bị trừng phạt vì hành động của mình. Chỉ sau vụ này, ông mới bị thêm vào danh sách những kẻ chủ mưu. Ông được phục hồi vào năm 1955.